\documentclass[12pt,a4paper,UTF8]{ctexart}
\CTEXsetup[format={\Large\bfseries}]{part}
\CTEXsetup[format={\Large\bfseries}]{section}

\usepackage{ctex}
\usepackage{xcolor}
\usepackage{listings}
\usepackage{commath}
\usepackage{amsthm}   % 定理环境支持
\usepackage{gbt7714}
\usepackage{graphicx}
\usepackage{subcaption}
\usepackage{rotating}
\usepackage{hyperref}
\usepackage{booktabs}
\usepackage{amsfonts}
\usepackage{fancyhdr} %调用页眉页脚宏包
\usepackage{hyperref} %插入超链接和网址
\hypersetup{
    colorlinks=true,
    linkcolor=blue,
    filecolor=teal,      
    urlcolor=brown,
    citecolor=purple,
}

\newtheorem{theorem}{定理}  % 定义theorem环境，显示为"定理"
% 用来设置附录中代码的样式
\lstset{
    basicstyle          =   \sffamily,          % 基本代码风格
    keywordstyle        =   \bfseries,          % 关键字风格
    commentstyle        =   \rmfamily\itshape,  % 注释的风格，斜体
    stringstyle         =   \ttfamily,  % 字符串风格
    flexiblecolumns,                % 别问为什么，加上这个
    numbers             =   left,   % 行号的位置在左边
    showspaces          =   false,  % 是否显示空格，显示了有点乱，所以不现实了
    numberstyle         =   \zihao{-5}\ttfamily,    % 行号的样式，小五号，tt等宽字体
    showstringspaces    =   false,
    captionpos          =   t,      % 这段代码的名字所呈现的位置，t指的是top上面
    frame               =   lrtb,   % 显示边框
}

\lstdefinestyle{Python}{
    language        =   Python, % 语言选Python
    basicstyle      =   \zihao{-5}\ttfamily,
    numberstyle     =   \zihao{-5}\ttfamily,
    keywordstyle    =   \color{blue},
    keywordstyle    =   [2] \color{teal},
    stringstyle     =   \color{magenta},
    commentstyle    =   \color{red}\ttfamily,
    breaklines      =   true,   % 自动换行，建议不要写太长的行
    columns         =   fixed,  % 如果不加这一句，字间距就不固定，很丑，必须加
    basewidth       =   0.5em,
}

\title{大语言模型在智能空战中的应用综述}
\author{何世玉}
\date{\today} % 或者指定日期

\begin{document}
\maketitle % 显示常规标题（可选）
% 添加大标题（不编号，显示在 part 之前）


\section{基于多智能体强化学习的智能空战}

\subsection{多智能体强化学习之Dec-POMDP形式建模}
多智能体系统可通过分散式部分可观测马尔可夫决策过程(Dec-POMDP)严格定义，其八元组表示为：
\[
\langle N, \mathcal{S}, \{\mathcal{A}_i\}, \{\mathcal{O}_i\}, T, \{R_i\}, \Omega, \gamma \rangle
\]
其中：
\begin{itemize}
    \item $N$为智能体数量，$i \in \{1,...,N\}$表示智能体索引
    \item $\mathcal{S}$为全局状态空间，满足马尔可夫性：
        \[
        P(s_{t+1}|s_t, a_t^1,...,a_t^N) = P(s_{t+1}|s_t, a_t^1,...,a_t^N, s_{t-1},...)
        \]
    \item $\mathcal{A}_i$为智能体$i$的动作空间，联合动作空间为$\mathcal{A} = \prod_{i=1}^N \mathcal{A}_i$
    \item $\mathcal{O}_i$为观测空间，观测函数$\Omega_i: \mathcal{S} \to \mathcal{O}_i$生成局部观测$o_i^t = \Omega_i(s^t)$
    \item $T: \mathcal{S} \times \mathcal{A} \to \Delta(\mathcal{S})$为状态转移概率
    \item $R_i: \mathcal{S} \times \mathcal{A} \to \mathbb{R}$为个体奖励函数
    \item $\gamma \in [0,1)$为折扣因子
\end{itemize}

\subsection{关键理论问题}
\subsubsection{部分可观测性}
每个智能体仅能通过局部观测$o_i^t$感知环境，导致智能体无法准确的进行决策并引发以下理论挑战：
\begin{itemize}
    \item \textbf{信念状态估计}：需构建$b_i^t = P(s^t|o_i^{0:t}, a_i^{0:t-1})$
    \item \textbf{策略依赖性}：最优策略$\pi_i^*$满足：
        \[
        \pi_i^* = \arg\max_{\pi_i} \mathbb{E}\left[\sum_{t=0}^\infty \gamma^t R_i(s^t,a^t)\right]
        \]
\end{itemize}

\subsubsection{信用分配问题}
在联合奖励$R_{\text{total}} = \sum_{i=1}^N R_i$下，需分解个体贡献：
\[
Q_{\text{total}}(s,\mathbf{a}) = \sum_{i=1}^N Q_i(s,a_i) + \Phi(s)
\]
其中$\Phi(s)$为状态依赖的协调项。满足IGM(Individual-Global Max)条件：
\[
\arg\max_{\mathbf{a}} Q_{\text{total}}(s,\mathbf{a}) = \left(\arg\max_{a_1} Q_1(s,a_1), ..., \arg\max_{a_N} Q_N(s,a_N)\right)
\]

\subsection{经典算法理论分析}
\subsubsection{值分解方法}
\begin{theorem}[QMIX单调性约束]
    若混合网络$f_{\text{mix}}$满足：
    \[
    \frac{\partial f_{\text{mix}}}{\partial Q_i} \geq 0,\quad \forall i
    \]
    则能保证个体Q值与全局Q值的最优性一致。
\end{theorem}

\subsubsection{策略梯度方法}
MADDPG算法采用中心化批评家与分布式执行者架构：
\begin{align*}
    \text{批评家更新：} & \min_{\phi} \mathbb{E}\left[(Q_\phi(\mathbf{o},\mathbf{a}) - y)^2\right] \\
    \text{执行者更新：} & \nabla_{\theta_i} J \approx \mathbb{E}\left[\nabla_{a_i} Q_\phi(\mathbf{o},a_1,...,a_N)\nabla_{\theta_i}\mu_{\theta_i}(o_i)\right]
\end{align*}
其中目标值$y = r_i + \gamma Q_{\phi'}(\mathbf{o}', \mu_{\theta_1'}(o_1'), ..., \mu_{\theta_N'}(o_N'))$。

\begin{table}[htbp]
    \centering
    \caption{MARL算法理论特性对比}
    \label{tab:marl-theory}
    \begin{tabular}{lccc}
        \toprule
        \textbf{特性} & \textbf{值分解} & \textbf{策略梯度}  \\
        \midrule
        收敛性保证 & 局部最优 & 渐近收敛 \\
        样本效率 & 低 & 中 \\
        可扩展性 & $\mathcal{O}(N)$ & $\mathcal{O}(N^2)$ \\
        理论复杂度 & P-Hard & NP-Hard \\
        \bottomrule
    \end{tabular}
\end{table}


\subsection{多智能体强化学习用于多机空战}
多机协同空战作为典型的动态博弈系统，其决策过程天然契合多智能体强化学习（MARL）的核心特征
：\textbf{部分可观测性}（各节点仅获取局部战场态势）、\textbf{分布式决策}（需实现自主协同
行为涌现）及\textbf{非平稳环境}（智能体策略并行更新导致的动态演化）。这种复杂特性使得MARL成
为解决超视距（BVR）空战协同决策的关键技术途径。图\ref{fig:3v3空战的典型钳形进攻策略}展示了
3vs.3对抗场景的战场态势，而图\ref{fig:基于MAPPO的多机对抗典型架构}展示了多机空战场景下MARL之MAPPO算法
的经典训练框架。
\begin{figure}[htbp]
    \centering
    \includegraphics[width=12cm]{AllPicture/3v3空战的典型钳形进攻策略.png}
    \caption{3v3空战的典型钳形进攻策略}
    \label{fig:3v3空战的典型钳形进攻策略}
\end{figure}

\begin{figure}[htbp]
    \centering
    \includegraphics[width=12cm]{AllPicture/基于MAPPO的多机对抗典型架构.png}
    \caption{基于MAPPO的多机对抗典型架构}
    \label{fig:基于MAPPO的多机对抗典型架构}
\end{figure}

然而，将MARL应用于BVR空战面临三重核心挑战：

\begin{itemize}
    \item \textbf{状态空间爆炸}：$n$机对抗的联合状态空间$\mathcal{S}^n$随智能体数量指数增长，
    并且复杂的多机空战战场环境还包含雷达探测、ESM被动感知、数据链通信等多模态信息，这
    导致传统探索方法在$d>10^4$维状态空间中效率骤降
    
    \item \textbf{时序信用分配}：从目标搜索（阶段$t_1$）、导弹发射（阶段$t_2$）到中制导（阶段$t_3$）
    的递进式对抗过程，奖励函数满足：
    \begin{equation}
        R = \sum_{k=1}^K \gamma^{t_k-t_0} r_k \quad \text{其中} \quad t_0 < t_1 < \cdots < t_K
    \end{equation}
    长周期决策链导致时序折扣因子$\gamma$的敏感性分析复杂度呈非线性增长。
    
    \item \textbf{势函数设计困境}：相比近距空战，BVR对抗的阶段转换存在非马尔可夫特性。定义适用于多
    阶段BVR的势函数$\Phi(s_t)$需满足：
    \begin{equation}
        \Delta\Phi = \gamma\Phi(s_{t+1}) - \Phi(s_t) \propto \mathbb{E}[V^*(s_{t+1})|a_t] - V^*(s_t)
    \end{equation}
    但由于最优价值函数$V^*(\cdot)$的先验知识缺失，势函数构造面临维度爆炸。
\end{itemize}

上述问题共同导致传统MARL算法在BVR空战训练中面临收敛速度慢、策略震荡大等瓶颈，现
有方法在累计奖励与收敛稳定性方面仍存在显著改进空间。

\section{大语言模型在空战等多智能体强化学习中的应用综述}
\subsection{基于大语言模型的强化学习研究进展}

大型语言模型（Large Language Models, LLMs）凭借其海量预训练知识储备与高阶认知能力，
正在为强化学习（Reinforcement Learning, RL）带来革新性突破。如图\ref{fig:用LLM来增强RL的典型应用}所示，作
为新型智能体架构的核心组件，LLMs通过以下多种途径增强RL系统的性能：
\begin{figure}[htbp]
    \centering
    \includegraphics[width=14cm]{AllPicture/用LLM来增强RL的典型应用.png}
    \caption{用LLM来增强RL的典型应用}
    \label{fig:用LLM来增强RL的典型应用}
\end{figure}

\begin{itemize}
    \item \textbf{环境信息处理器}：利用语义理解能力解析多模态状态空间，建立可解释的环境表征，缓解部分可观测性问题
    \item \textbf{奖励函数设计器}：基于人类先验知识生成细粒度奖励信号，通过自然语言反馈指导策略优化方向
    \item \textbf{高层决策生成器}：在动作空间顶层进行任务分解与逻辑规划，实现跨时间尺度的层次化决策
    \item \textbf{策略空间生成器}：通过程序合成技术自动生成可执行策略代码，扩展传统RL的策略表示能力
\end{itemize}

这些LLM赋能形式显著提升了RL在复杂场景下的多任务泛化能力与样本效率，也使得LLM-enhanced RL框架在
智能空战领域展现应用潜力。研究者将LLM与强化学习（RL）的结合范式分为两类：

\subsubsection{开环LLM决策框架}
\begin{itemize}
    \item \textbf{核心机制}：直接利用LLM的预训练知识生成决策，\textbf{不依赖环境实时反馈}
    \item \textbf{典型方法}：
    \begin{itemize}
        \item ReAct框架（Yao等\cite{221003629ReActSynergizing}）：通过思维链（Chain-of-Thought）实现动态策略调整
        \item Reflexion方法（Shinn等\cite{ReflexionLanguageAgents}）：将环境交互转化为文本记忆增强决策
        \item ADaPT模型（Prasad等\cite{ADaPTAsneededDecomposition}）：通过示例引导任务分解
    \end{itemize}
    \item \textbf{局限性}：知识边界受限，\textbf{忽略奖励信号}，最大回报$G_t$满足：
    \begin{equation}
        G_t = \mathbb{E}\left[\sum_{k=0}^\infty \gamma^k r_{t+k}\right]
    \end{equation}
\end{itemize}

\subsubsection{闭环LLM强化学习框架} 
\begin{itemize}
    \item \textbf{创新点}：建立\textbf{状态-动作-奖励}闭环优化链路
    \item \textbf{关键技术}：
    \begin{itemize}
        \item Refiner系统（Paul等\cite{230401904REFINERReasoning}）：微调LLM提供策略反馈
        \item Retroformer架构（Yao等\cite{zhangSimpleFrameworkIntrinsic}）：冻结LLM策略+可训练反馈模块
        \item REX算法（Murthy等\cite{nREXRapidExploration2023}）：结合MCTS与UCB探索
    \end{itemize}
    \item \textbf{优势}：通过贝尔曼方程优化策略：
    \begin{equation}
        Q(s,a) = \mathbb{E}\left[r(s,a) + \gamma \max_{a'} Q(s',a')\right]
    \end{equation}
\end{itemize}


\subsection{智能空战场景下借助LLM进行飞行控制}

在现代智能空战场景中，飞行器需要具备快速动态响应能力、复杂战术动作执行能力以及对不确定环境的强适应性。
传统的飞行控制方法（如基于精确数学模型的控制策略）在应对非线性气动耦合、实时决策需求和多目标优化时面
临显著挑战。而深度强化学习（DRL）虽能通过端到端学习实现自适应控制，但其训练过程存在探索效率低、稀疏
奖励反馈延迟等瓶颈。近年来，大型语言模型（LLM）凭借其强大的知识推理与上下文理解能力，为智能飞行控制
提供了新的技术路径。

\begin{figure}[htbp]
    \centering
    \includegraphics[width=14cm]{AllPicture/llm_guide_rl_framework.png}
    \caption{LLM引导的强化学习框架.}
    \label{fig:LLM引导的强化学习框架}
\end{figure}
YanQiao Han等\cite{hanLargeLanguageModel2024}提出的LLM引导的强化学习框架（见图~\ref{fig:LLM引导的强化学习框架}），通过借助LLM将领域知识嵌入DRL训练过程，
显著提升了六自由度（6DOF）飞行控制器的性能与训练效率，具体应用细节如下：

\subsubsection{LLM驱动的先验知识嵌入机制}
\begin{figure}[htbp]
    \centering
    \includegraphics[width=14cm]{AllPicture/llm_average_episode_reward.png}
    \caption{加入LLM后的平均回合奖励.}
    \label{fig:加入LLM后的平均回合奖励}
\end{figure}
在智能空战场景中，飞行控制需严格遵循空气动力学规律与战术操作规范。该文章通过构建本地化知识库
（Local Knowledge Base），将联邦航空管理局（FAA）飞行手册、战术动作操作指南等结构化文本进行向量化存储。
LLM（采用ChatGLM-6B）在训练过程中实时访问该知识库，对智能体生成的控制指令进行合规性评估。
具体来说，系统将当前飞行状态转化为自然语言描述，通过"后向提问策略"（Backstep Questioning Strategy）
要求LLM判断动作的合理性。例如，当飞行器处于高攻角状态时，LLM会基于气动失速知识库拒绝"大幅增加升降舵偏转"的指令
，从而避免进入危险飞行包线。这种机制使DRL在探索初期即可获得专家级指导，其动作采样效率提升达42.7\%，见图~\ref{fig:加入LLM后的平均回合奖励}。
\subsubsection{动态奖励函数与耦合控制优化}
针对$6 DOF$飞行器强烈的气动耦合特性，该文章设计了一种基于高斯势函数的复合奖励函数：
\begin{equation}
    \label{复合奖励函数}
    R=\sqrt[4]{R_\phi \cdot R_{\varphi} \cdot R_{\text {alt }} \cdot R_{v_x}}+R_{\text {altitude }}
\end{equation}
其中各分量分别对应滚转角误差、偏航角误差、高度误差和速度误差的指数衰减奖励。
LLM在此过程中发挥双重作用：一方面通过知识库中的操作规范动态调整各误差项的权重系数
，当飞行高度低于安全阈值时施加负向奖励，该阈值的设定直接来源于LLM解析的战术手册数据。
实验表明，这种奖励结构使飞行器在保持±0.5°滚转角精度的同时，速度跟踪误差控制在±4.2m/s以内（见图~\ref{fig:水平飞行速度跟踪误差}）。
\begin{figure}[htbp]
    \centering
    \includegraphics[width=14cm]{AllPicture/水平飞行速度.png}
    \caption{水平飞行速度跟踪误差.}
    \label{fig:水平飞行速度跟踪误差}
\end{figure}
\subsubsection{分层引导的训练架构}
该文章提出的训练框架采用分阶段引导策略（见图~\ref{fig:LLM引导的强化学习框架}）：在初始训练阶段
（episode<100），LLM对每个候选动作进行严格审查，仅允许符合航空力学的指令进入经验池；
随着训练进程推进，逐步放宽LLM的干预频率，最终完全由DRL自主探索。这种"脚手架"式引导有效解决了
DRL初期探索盲目性问题。仿真结果显示，当LLM评估函数$ E_{LLM} = 0$时，系统强制重新采样动作，
直至获得合规指令。在伊梅尔曼回转（Immelmann Turn）等复杂机动训练中，
LLM引导使收敛速度提升58\%，且最终策略的战术完成度达到93.4\%，整体结果见图~\ref{fig:immelmann-simulation}，
其中偏航角误差分析如子图7~\subref{fig:immelmann-yaw} 所示。）。
\begin{figure}[htbp]
    \centering
    
    % 第一行：主结果 + 偏航角误差
    \begin{subfigure}[b]{0.48\textwidth}
        \includegraphics[width=\linewidth]{AllPicture/immelmann_result.png}
        \caption{整体仿真结果}
        \label{fig:immelmann-main}
    \end{subfigure}
    \hfill
    \begin{subfigure}[b]{0.48\textwidth}
        \includegraphics[width=\linewidth]{AllPicture/immelmann_yaw_error.png}
        \caption{偏航角误差}
        \label{fig:immelmann-yaw}
    \end{subfigure}
    
    % 第二行：海拔误差 + 速度误差
    \begin{subfigure}[b]{0.48\textwidth}
        \includegraphics[width=\linewidth]{AllPicture/immelmann_altitude_error.png}
        \caption{海拔高度误差}
        \label{fig:immelmann-altitude}
    \end{subfigure}
    \hfill
    \begin{subfigure}[b]{0.48\textwidth}
        \includegraphics[width=\linewidth]{AllPicture/immelmann_velocity_error.png}
        \caption{X方向速度误差}
        \label{fig:immelmann-velocity}
    \end{subfigure}
    
    % 第三行：滚转角误差 (独占一行)
    \begin{subfigure}[b]{0.6\textwidth}
        \centering
        \includegraphics[width=0.8\linewidth]{AllPicture/immelmann_roll_error.png}
        \caption{滚转角误差}
        \label{fig:immelmann-roll}
    \end{subfigure}
    
    \caption{伊梅尔曼回转仿真结果分析}
    \label{fig:immelmann-simulation}
\end{figure}
\subsubsection{复杂战术动作的泛化能力验证}
为验证LLM增强型控制器的实战效能，该研究团队在JSBSim高精度仿真环境中测试了典型空战机动：
\begin{figure}[htbp]
    \centering
    \includegraphics[width=14cm]{AllPicture/loopingvx.png}
    \caption{环形机动X方向速度误差.}
    \label{fig:环形机动X方向速度误差}
\end{figure}


\textbf{环形机动（Looping）}：飞行器在垂直面完成360°筋斗，LLM通过动态调整滚转角目标值确保倒飞
阶段的姿态稳定。实验数据显示，在动能-势能转换过程中，速度波动范围从无引导情况的±37m/s降至±18m/s
见图~\ref{fig:环形机动X方向速度误差}。

\textbf{Split S机动}：飞行器通过半滚转快速改变航向。LLM知识库中存储的战术要领使控制器在150ms内
完成滚转-俯仰耦合控制，较传统DRL策略响应时间缩短41\%。
\begin{figure}[htbp]
    \centering
    \includegraphics[width=14cm]{AllPicture/水平飞行仿真结果.png}
    \caption{水平飞行仿真结果.}
    \label{fig:水平飞行仿真结果}
\end{figure}

\textbf{抗扰动能力}：在20m/s侧风干扰下，LLM引导策略通过在线调整偏航阻尼比，将航向偏差控制在±1.2°内
，显著优于无引导系统的±4.7°（见图~\ref{fig:水平飞行仿真结果}和图~\ref{fig:水平飞行滚转误差}）。

\begin{figure}[htbp]
    \centering
    \includegraphics[width=14cm]{AllPicture/水平飞行滚转误差.png}
    \caption{水平飞行滚转误差.}
    \label{fig:水平飞行滚转误差}
\end{figure}
实验结果表明，LLM与DRL的深度协同显著提升了六自由度飞行控制的智能化水平。这种"知识引导+数据驱动"的混合范式，
为复杂动态系统的智能控制提供了可扩展的技术框架，其方法论亦可迁移至无人机集群、太空机器人等领域。
随着LLM推理能力的持续进化，未来智能空战系统有望实现从"程序化反应"到"认知型决策"的质的飞跃。

\subsection{LLM在典型多智能体强化学习场景中的应用综述}
\begin{itemize}
    \item \textbf{研究现状的挑战性}：当前多机协同空战作为新兴研究方向，面临理论研究与实践验证的双重挑战。
    截至2025年初，Web of Science核心合集中涉及多机空战的论文仅43篇，其中结合大语言模型（LLMs）的研究尚
    处空白状态。
        
    \item \textbf{仿真环境的必要性}：受限于物理实验的高成本与高风险，现有研究主要集中于虚拟仿真环境。星际
    争霸II（StarCraft II）、王者荣耀AI开放平台等成熟的对抗环境已成为多智能体强化学习的主流训练平台。
\end{itemize}

所以该章节我将重点介绍LLM在经典多智能体对抗/协同场景中的前沿应用，尽管应用场景存在差异，但经典多智能体环
境中的LLM增强方法具有普适性特征，其技术方案与经验对多机空战智能体训练具有重要借鉴价值
\subsubsection{LLM在多智能体强化学习领域的最新应用综述}
实时策略游戏（RTS）如《星际争霸II》因其高复杂性和动态性，长期被视为AI研究的“终极挑战”。传统基于
强化学习的方法（如AlphaStar）虽取得突破，但在高维状态空间和实时决策需求下仍面临局限性。
LLM凭借其强大的上下文理解与抽象推理能力，为战略规划提供了新思路。然而，LLM的推理延迟与缺乏视觉感知能力
，使其难以直接适应《星际争霸II》这类需每秒5-6次操作的高实时性场景。

Shao等\cite{shaoSwarmBrainEmbodiedAgent2024}提出的SwarmBrain通过分层架构解决了上述矛盾（见图~\ref{SwarmBrain与星际争霸II环境交互框架}）：
\begin{figure}[htbp]
    \centering
    \includegraphics[width=12cm]{AllPicture/SwarmBrain与星际争霸II环境交互框架.png}
    \caption{SwarmBrain与星际争霸II环境交互框架}
    \label{fig:SwarmBrain与星际争霸II环境交互框架}
\end{figure}
Overmind Intelligence Matrix：基于LLM（GPT-3.5-turbo）的宏观战略规划模块，负责资源分配、
基地扩张和多线进攻协调。其通过自然语言转换战场状态（如单位位置、敌方动向），并采用思维
链（Chain-of-Thought）技术生成JSON格式的指令序列。

Swarm ReflexNet：基于条件状态机的快速反应网络，赋予基础单位（如工蜂、蟑螂）自主行为逻辑。
例如，工蜂在遭遇低威胁敌人时自动反击，侦查单位（Overlord）受袭时自动撤退，避免了LLM对微观操作的
直接控制延迟。

实验结果表明，在Zerg vs Terran的对抗实验中，SwarmBrain在“Automaton LE”地图上展现了卓越表现，详情见
图~\ref{fig:对抗不同难度对手的胜率和平均比赛时间}。
\begin{figure}[htbp]
    \centering
    
    % 第一行：主结果 + 偏航角误差
    \begin{subfigure}[b]{0.48\textwidth}
        \includegraphics[width=\linewidth]{AllPicture/SwarmBrain在30场比赛中对具有五种不同难度设置的计算机的胜利次数.png}
        \caption{整体仿真结果}
        \label{fig:对抗五种不同难度设置的获胜次数}
    \end{subfigure}
    \hfill
    \begin{subfigure}[b]{0.48\textwidth}
        \includegraphics[width=\linewidth]{AllPicture/SwarmBrain在30场比赛中对抗五种不同难度设置中平均获胜时间.png}
        \caption{对抗五种不同难度设置中平均获胜时间}
        \label{fig:对抗五种不同难度设置的平均获胜时间}
    \end{subfigure}
    \caption{对抗不同难度对手的胜率和平均比赛时间}
    \label{fig:对抗不同难度对手的胜率和平均比赛时间}
\end{figure}
胜对Very Easy至Medium Hard难度的计算机对手保持100\%胜率，Hard难度下仍达76\%。失败案例多
源于LLM指令执行延迟（如经济误判）或敌方后期兵种组合压制（如雷神+攻城坦克）。

Xidong Feng等\cite{fengNaturalLanguageReinforcement2024}提出了一种自然语言强化学习（Natural Language Reinforcement Learning, NLRL）
框架，将传统强化学习的关键概念（如任务目标、策略、价值函数和贝尔曼方程）转化为自然语言表示，
并利用大型语言模型（LLMs）实现决策过程的可解释性与高效性。该框架通过自然语言描述任务目标、环境
反馈和策略推理，结合LLM的语义理解与生成能力，显著提升了样本效率和决策透明度，实验结果表明，NLRL在
网格MDP任务中表现优异：
\begin{figure}[htbp]
    \centering
    \includegraphics[width=12cm]{AllPicture/NLRL框架示意图.png}
    \caption{NLRL框架示意图：将强化学习组件映射至自然语言空间，并通过LLM实现策略生成、价值评估与信息聚合}
    \label{fig:NLRL}
\end{figure}
网格世界最短路径任务中，经过4次迭代即可收敛至最优策略，其语言价值函
数能清晰解释状态评估逻辑（如“从状态(g)向左移动至(k)可减少路径成本”）；

Frozen-Lake随机环境中，NLRL通过预定义概念（如“即时风险”“最安全路径”）完成策略迭代，平均状态价值提升
至最优策略的60\%（表\ref{tab:frozen_results}），但因LLM的“幻觉”问题导致部分评估偏差。

\begin{table}[htbp]
    \centering
    \caption{Frozen-Lake环境中NLRL策略迭代性能对比}
    \label{tab:frozen_results}
    \begin{tabular}{|c|c|c|c|c|c|c|}
        \hline
        & Iter 0 & Iter 1 & Iter 2 & Iter 3 & Iter 4 & Optimal \\ 
        \hline
        Average Value & 0.062 & 0.217 & 0.326 & 0.261 & 0.327 & 0.555 \\
        \hline
    \end{tabular}
\end{table}
    
Chuanneng Sun\cite{zhangEfficientLLMGrounding2024}等提出了一种基于大语言模型（LLM）的多智能体强化学习（MARL）框架，重点研
究多智能体协作任务中的语言驱动通信与协调机制。该工作系统梳理了现有LLM-based单智能体与多
智能体强化学习方法，并探讨了未来研究方向，包括个性化协作、人机协同框架、传统MARL与LLM协同
设计以及安全性问题。
\begin{figure}[htbp]
    \centering
    \includegraphics[width=12cm]{AllPicture/RoCo方法和作者方法的决策流程对比.png}
    \caption{RoCo方法和作者方法的决策流程对比}
    \label{RoCo方法和作者方法的决策流程对比}
\end{figure}

图~\ref{RoCo方法和作者方法的决策流程对比}展示了近年来主流大语言模型的发展脉络，其中PaLM-E是唯一针对具身应用（如机器人控制）专门训练的模型。
图~\ref{Prompt和细化提示的概述}进一步提出了语言条件化MARL的潜在研究方向示意图，包含：（a）个性化协作机器人，通过自然语言指
令定义不同机器人性格；（b）语言支持的人机协同框架，人类通过自然语言监督并提供反馈；（c）传统MARL
与LLM协同设计，通过知识蒸馏将LLM通信知识迁移至轻量化模型。
\begin{figure}[htbp]
    \centering
    \includegraphics[width=12cm]{AllPicture/Prompt和细化提示的概述.png}
    \caption{Prompt和细化提示的概述}
    \label{Prompt和细化提示的概述}
\end{figure}

Yunfan Zhou等\cite{maLargeLanguageModels2024}提出了一种基于链式总结方法（Chain of Summarization Approach）的大语言模型（LLM）框架
，用于解决《星际争霸II》复杂策略游戏的决策挑战。该工作构建了首个面向LLM的《星际争霸II》基准测试集，
并提出分层总结机制，将全局战略目标分解为可执行的微观操作序列，显著提升了LLM在实时战略游戏中的动态决
策能力。
\begin{figure}[htbp]
    \centering
    \includegraphics[width=12cm]{AllPicture/CoS增强的LLM方法与Text版星际争霸II交互的结构图.png}
    \caption{CoS增强的LLM方法与Text版星际争霸II交互的结构图}
    \label{CoS增强的LLM方法与Text版星际争霸II交互的结构图}
\end{figure}

图~\ref{CoS增强的LLM方法与Text版星际争霸II交互的结构图}展示了链式总结框架的层级结构以及分层模块间的信息流与反馈机制：（a）战略层通过LLM解析游戏全局状态，生成宏观目标（如资源扩张或军事压
制）；（b）战术层将宏观目标分解为具体任务（如建造兵营、训练单位）；（c）操作层通过轻量化策略网络输出实
时动作指令（如单位移动、攻击目标）。
经过CoS增强后的LLM方法与AlphaStar方法构建防御结构和提前预测危险的能力测试对比结果见图~\ref{构建防御结构和提前预测危险的能力：Alphastar vs. LLM代理}。
\begin{figure}[htbp]
    \centering
    \includegraphics[width=12cm]{AllPicture/构建防御结构和提前预测危险的能力Alphastar vs. LLM代理.png}
    \caption{构建防御结构和提前预测危险的能力：Alphastar vs. LLM代理}
    \label{构建防御结构和提前预测危险的能力：Alphastar vs. LLM代理}
\end{figure}

auwai Yim等\cite{yimEvaluatingEnhancingLLMs2024}提出了一种基于心论理论（Theory of Mind, ToM）的
大语言模型（LLM）智能体框架，用于提升非完美信息环境下多智能体协作能力，并以中文卡牌游戏
“掼蛋”（Guandan）为实验场景。该框架通过外部工具整合分层ToM推理机制，解决了动态动作空
间处理与协作策略优化的核心挑战，图~\ref{加入ToM后 LLM代理的操作流程}展示了LLM智能体的模块化架构：
\begin{figure}[htbp]
    \centering
    \includegraphics[width=12cm]{AllPicture/加入ToM后 LLM代理的操作流程.png}
    \caption{加入ToM后 LLM代理的操作流程}
    \label{加入ToM后 LLM代理的操作流程}
\end{figure}

绿色模块（状态输入）：接收游戏规则、当前状态（如手牌信息）及历史记录；

橙色模块（LLM核心）：包含状态解释器（State Interpreter）和ToM规划器（ToM Planner），
将低维游戏状态转换为自然语言描述，并基于ToM推理生成协作策略；

紫色模块（外部工具）：集成强化学习（RL）训练的动作推荐器（Action Recommender），动态筛选Top-K高
价值动作以缓解LLM长序列处理瓶颈；

蓝色模块（输出与评估）：通过计划评估器（Plan Evaluator）预测策略得分，输出最优动作。图1进一步
对比了不同阶数ToM规划的推理机制（零阶、一阶、二阶），其中二阶ToM通过“对手对己方意图的信念”
实现深层博弈推理。

该文章首次创发布了针对中文环境掼蛋游戏而设计的多指标测试集（LLM协作评估基准），涵盖“资源管理”
“战术反制”等任务，验证LLM在非英语复杂协作场景的潜力；进一步提出了ToM分层规划框架，使用一阶ToM
推断对手手牌与策略，二阶ToM建模对手对己方意图的信念，使GPT-4在对抗RL模型（Danzero+）时得分差距
缩小至-0.88（原-3.14）,详情见图~\ref{各种LLM对抗随机、基于规则和Danzero+对手的平均表现}
\begin{figure}[htbp]
    \centering
    \includegraphics[width=12cm]{AllPicture/各种LLM对抗随机、基于规则和Danzero+对手的平均表现.png}
    \caption{各种LLM Agents对抗随机、基于规则和Danzero+对手的平均表现}
    \label{各种LLM对抗随机、基于规则和Danzero+对手的平均表现}
\end{figure}
Shyam等\cite{kannanSMARTLLMSmartMultiagent2024}提出了一种基于大语言模型（LLM）的多智能体机器人任务规
划框架SMART-LLM，通过任务分解、联盟形成与技能导向分配三阶段流程，实现自然语言指令到多机器人协同任务计划
的自动化生成。该框架创新性地采用Pythonic提示结构，结合环境信息与机器人技能库，支持异构机器人团队在复
杂场景下的动态任务编排。实验表明，SMART-LLM在模拟与真实机器人环境中均表现出高效的任务完成能力，且无
需针对新任务调整代码结构，显著提升了多机器人系统的可扩展性。如给定一个高级指令，SMART-LLM将指令分
解为子任务，根据它们的特定技能和能力将它们分配给单个机器人，并以连贯和逻辑的顺序编排它们的执行，具体流程见
图~\ref{SMART LLM多具身智能的框架总览}。
\begin{figure}[htbp]
    \centering
    \includegraphics[width=12cm]{AllPicture/SMART_LLM多具身智能的框架总览.png}
    \caption{SMART LLM多具身智能的框架总览}
    \label{SMART LLM多具身智能的框架总览}
\end{figure}

MART-LLM由四个关键阶段组成：
\begin{figure}[htbp]
    \centering
    \includegraphics[width=12cm]{AllPicture/SMART_LLM的四个关键阶段.png}
    \caption{SMART LLM的四个关键阶段}
    \label{SMART LLM的四个关键阶段}
\end{figure}
任务分解：输入自然语言指令后，LLM结合环境实体（对象、空间布局）与机器人基础技
能库（如抓取、移动），将高层任务拆解为原子子任务序列；

联盟形成：基于子任务技能需求与机器人异构能力（如负载限制、感知范围），动态组建
机器人团队以覆盖技能缺口；

任务分配：生成可执行代码，明确各机器人子任务的时空依赖关系（并行/串行）；

任务执行：通过API调用驱动物理或仿真机器人按计划协同作业。图~\ref{SMART LLM的四个关键阶段}进一步通过系
统流程图展示了各阶段输入输出，其中紫色模块为技能库，绿色模块为样例提示，红色模块为动态生成的中间结果。
\begin{figure}[htbp]
    \centering
    \includegraphics[width=12cm]{AllPicture/SMART-LLM和基线在AI2-THOR模拟器中的指标对比.png}
    \caption{SMARTLLM和基线在AI2-THOR模拟器中的指标对比}
    \label{SMARTLLM和基线在AI2-THOR模拟器中的指标对比}
\end{figure}

SMART-LLM首次实现多机器人任务规划全流程自动化（任务分解→联盟形成→分配→执行），其核心优势体现于：

层提示设计：通过结构化代码注释引导LLM理解技能约束与任务逻辑，使Llama2-70B仅凭0.5B参数即达到与万
亿级模型相近性能（复合任务SR=0.64 vs. Claude-3 SR=0.69）；

动态联盟机制：针对技能缺口自动组建多机器人团队，解决单机器人能力受限问题，使复杂任务资源利用率
（RU）提升至0.97；

零样本泛化：在未预训练的巡逻与拍照任务中，成功率（SR）达0.81，证明框架具备从仿真到实物的无缝迁移能力。
实验指标进一步显示，GPT-4在复杂任务中目标条件召回率（GCR）达0.92，较随机分配提升513\%，凸
显LLM在语义推理与约束满足方面的优势。

在AI2-THOR仿真平台上构建的36任务基准测试集中（含基础、简单、复合、复杂四类任务），SMART-LLM结合
GPT-4主干的平均任务成功率（SR）达0.71（复杂任务），显著优于随机分配（SR=0.00）与规则驱动基线
（SR=0.14）。如图~\ref{SMARTLLM和基线在AI2-THOR模拟器中的指标对比}所示，Claude-3在复杂任务中S
R达0.71，GPT-3.5因逻辑推理受限表现最差（SR=0.14）。
消融实验（图~\ref{SMARTLLM消融实验}）验证了Pythonic提示中注释的重要性——移除注释后复杂任务SR下降44\%。
图~\ref{SMART LLM真实机器人实验}展示了真实机器人巡逻任务中，SMART-LLM依据机器人视野面积动态分配巡逻区域，验证了框架的跨场景泛化能力。
\begin{figure}[htbp]
    \centering
    \includegraphics[width=12cm]{AllPicture/SMARTLLM消融实验.png}
    \caption{SMARTLLM消融实验}
    \label{SMARTLLM消融实验}
\end{figure}
\begin{figure}[htbp]
    \centering
    \includegraphics[width=12cm]{AllPicture/真实机器人实验：a）机器人团队和要巡逻的区域；b）机器人在任务规划和巡逻后根据能见度区域分配的各自区域.png}
    \caption{真实机器人实验：a）机器人团队和要巡逻的区域；b）机器人在任务规划和巡逻后根据能见度区域分配的各自区域}
    \label{SMART LLM真实机器人实验}
\end{figure}

Bangguo Yu等\cite{yuCoNavGPTMultirobotCooperative2023}提出了\textbf{Co-NavGPT}，一种基于大型语
言模型（LLMs）的多机器人协作视觉语义导航框架。该框架通过将环境探索数据编码为文本提示（Prompts），
增强LLMs对场景的语义理解能力，并动态分配未探索区域（Frontiers）给多个机器人，以实现高效目标搜索。
与传统的单机器人或强化学习方法不同，Co-NavGPT无需显式训练导航策略，直接利用LLMs的全局规划能力
协调多机器人协作。实验在Habitat-Matterport 3D（HM3D）数据集上验证了其有效性，结果显示其在
成功率（SR）、路径效率（SPL）和终点距离（DTG）等指标上均优于现有多机器人方法。
图\ref{目标导航框架的总体架构}展示了多机器人目标导航框架整体架构，包括语义地图构建、LLM提示生
成与决策流程。
\begin{figure}[htbp]
    \centering
    \includegraphics[width=12cm]{AllPicture/目标导航框架的总体架构.png}
    \caption{目标导航框架的总体架构}
    \label{目标导航框架的总体架构}
\end{figure}

Co-NavGPT的核心模块如图\ref{目标导航框架的总体架构}所示。首先，每个机器人通过RGB-D图像构建局部语义地图，并融合
为全局地图。地图信息（如障碍物、语义对象、机器人位置）通过以下步骤编码为LLM提示：

1）提取高信息熵的语义对象（如低频目标相关物体），

2）检测场景结构（如墙壁轮廓与未探索区域），

3）结合机器人状态与目标类别生成结构化文本。
\begin{figure}[htbp]
    \centering
    \includegraphics[width=12cm]{AllPicture/从局部地图中提取场景对象和墙壁.png}
    \caption{从局部地图中提取场景对象和墙壁示例}
    \label{从局部地图中提取场景对象和墙壁}
\end{figure}

而图\ref{从局部地图中提取场景对象和墙壁}展示了语义地图经轮廓提取与多边形近似后，转化
为包含目标对象、墙壁和未探索区域的文本描述的过程。LLM基于此提示为每个机器人分配长期
目标（Frontiers），随后本地策略通过快速行进法（FMM）规划路径并执行低层动
作（前进、转向等）。该方法通过分层规划弥补了LLMs在底层控制上的不足。

\begin{figure}[htbp]
    \centering
    \includegraphics[width=12cm]{AllPicture/两个机器人寻找椅子的导航过程.png}
    \caption{两个机器人寻找椅子的导航过程}
    \label{两个机器人寻找椅子的导航过程}
\end{figure}

如表\ref{tab:results}所示，Co-NavGPT在HM3D数据集上的成功率（SR=0.661）显著优于
贪婪算法（0.611）、效用-成本法（0.625）和随机采样法（0.636）。其终点距离（DTG=1.831）
也验证了协作探索的高效性。消融实验表明，单机器人版本（Single-NavGPT）的SR下降至0.539，
凸显了多机器人协作的必要性。图\ref{两个机器人寻找椅子的导航过程}展示了双机器人协作搜索椅子的过程，
其中全局规划器动态分配未探索区域（蓝色标记），机器人轨迹（红色）逐步覆盖环境。实验进一步表明，
使用真实语义分割（GT-Seg）可进一步提升性能（SR=0.757），说明语义感知模块对系统鲁棒性的关键作用。
\begin{table}[ht]
    \centering
    \caption{多机器人导航性能对比}
    \label{tab:results}
    \begin{tabular}{lccc}
        \hline
        方法 & SR & SPL & DTG \\
        \hline
        Greedy & 0.611 & 0.328 & 2.239 \\
        Cost-Utility & 0.625 & 0.323 & 2.030 \\
        Co-NavGPT（Ours） & \textbf{0.661} & \textbf{0.331} & \textbf{1.831} \\
        \hline
    \end{tabular}
\end{table}

Huaben Chen等\cite{chenMultiagentConsensusSeeking2025}提出了一种基于大型语言模型（LLMs）的多智能体共识寻求框架，旨在研究LLM驱动的智能体如何通过协
商达成一致状态。通过将智能体状态抽象为一维数值，实验发现智能体在无显式策略引导时倾向于采用\textbf{平均策略}，
即通过计算群体状态均值调整自身状态，与传统多智能体协同控制理论中的平均共识行为高度相似。研
究进一步揭示了智能体个性（固执型与易受暗示型）、网络拓扑结构（全连接、有向图等）以及智能体数
量对共识过程的显著影响。实验表明，增加智能体数量可降低系统随机性，而固执型智能体易主导共识结果。
该框架被成功应用于多机器人聚合任务，验证了LLM在零样本自主规划中的潜力。
图\ref{两个代理谈判过程的图示}展示了双智能体协商的典型流程。
\begin{figure}[htbp]
    \centering
    \includegraphics[width=12cm]{AllPicture/两个代理谈判过程的图示.png}
    \caption{两个代理谈判过程的图示}
    \label{两个代理谈判过程的图示}
\end{figure}

如图\ref{成功达成共识的示例}所示，每个智能体基于LLM（GPT-3.5-turbo）通过多轮协商调整状态达成共识。
每轮中，智能体接收其他智能体状态信息，生成包含“推理”和“目标位置”的响应。系统通过提示词动
态设置智能体个性（如“固执型”坚持自身状态，“易受暗示型”跟随他人），并模拟不同网络拓扑下的信息交
互。关键策略包括：
\begin{figure}[htbp]
    \centering
    \includegraphics[width=12cm]{AllPicture/成功达成共识的示例.png}
    \caption{成功达成共识的示例}
    \label{成功达成共识的示例}
\end{figure}

1）\textbf{平均策略}：智能体将下一状态设为群体均值；

2）\textbf{个性驱动策略}：固执型智能体主导共识结果，易受暗示型易引发状态震荡；

3）\textbf{拓扑影响}：全连接网络加速收敛，有向网络形成领导者-跟随者结构。

\begin{figure}[htbp]
    \centering
    \includegraphics[width=12cm]{AllPicture/在多机器人聚合中的应用.png}
    \caption{在多机器人聚合中的应用}
    \label{在多机器人聚合中的应用}
\end{figure}
蒙特卡洛实验表明（表\ref{tab:stats}和图\ref{最终共识值的统计结果}），随着智能体数量增加，共识值的方差下降
（4智能体：$\sigma=4.2$；8智能体：$\sigma=1.8$），验证了多智能体协作抑制幻觉的有效
性。在双智能体场景中，固执-易受暗示组合的共识值偏向固执型（偏差$\Delta=18.3$），
而全固执组合易陷入僵局（成功率$<30\%$）。如图\ref{在多机器人聚合中的应用}所示，该框架被扩展
至二维空间的多机器人聚合任务，机器人通过LLM规划器输出目标位置，控制器实现轨迹跟踪，最终
成功收敛至共同位置。实验同时揭示了LLM规划器更新频率低（$\Delta T_p=2$秒）对高性能任务的限制。
\begin{table}[ht]
    \centering
    \caption{不同智能体数量下的共识值统计}
    \label{tab:stats}
    \begin{tabular}{lcc}
        \hline
        智能体数量 & 均值偏差（$\mu$） & 方差（$\sigma$） \\
        \hline
        2 & 2.4 & 12.6 \\
        4 & 1.8 & 4.2 \\
        8 & 0.9 & 1.8 \\
        \hline
    \end{tabular}
\end{table}
\begin{figure}[htbp]
    \centering
    \includegraphics[width=12cm]{AllPicture/最终共识值的统计结果.png}
    \caption{最终共识值的统计结果}
    \label{最终共识值的统计结果}
\end{figure}

\cite{xuExploringLargeLanguage2024}提出了一种基于大型语言模型（LLMs）的通信游戏智能体
框架，以经典不完全信息游戏“狼人杀”为研究对象，验证LLMs在自然语言交互与战略推理中的潜力。
框架通过动态检索历史对话、生成反思摘要及跨轮次经验学习，使冻结参数的LLM能够自主完成角色推理、
伪装与协作。实验表明，智能体在未显式训练的情况下涌现出信任、对抗、伪装和领导力
等战略行为（图\ref{狼人杀各职业信任关系表}为狼人杀中各职业信任关系，上面的子表不使用历史
经验，而下面的子表使用20轮历史经验。黄色球代表已建立的信任关系，黄色虚线圆圈表示先前存在的
信任关系的解除。），且在经验池辅助下村民阵营胜率显著提升（20轮经验池：胜率+12\%）。
图\ref{MultiAgent狼人杀游戏的具体实现}展示了框架核心模块，包括历史信息
筛选、反思生成和经验驱动的建议提取；每次游戏有5个角色和7个玩家，每个角色都由一个LLM自主扮演。
每次发言前的数字表示发言顺序，在这张图中可以主要观察到一些社会行为，包括信任、对抗、伪装和领导。
\begin{figure}[htbp]
    \centering
    \includegraphics[width=12cm]{AllPicture/狼人杀各职业信任关系表.png}
    \caption{狼人杀各职业信任关系表}
    \label{狼人杀各职业信任关系表}
\end{figure}
\begin{figure}[htbp]
    \centering
    \includegraphics[width=12cm]{AllPicture/MultiAgent狼人杀游戏的具体实现.png}
    \caption{MultiAgent狼人杀游戏的具体实现}
    \label{MultiAgent狼人杀游戏的具体实现}
\end{figure}

如图\ref{MultiAgent狼人杀游戏的具体实现}所示，框架响应的Prompt包含以下核心模块：

1）\textbf{历史信息处理}：
通过新鲜度（最近$K$条消息）、信息量（规则匹配关键信息）和完整性（基于问题的反思生成）
三阶段筛选信息，解决LLM上下文长度限制；

2）\textbf{经验池构建}：收集胜局智能体的响应与反思，
通过语义相似度检索生成建议；

3）\textbf{链式推理提示}：结合游戏规则、历史信息和经验建议，驱动LLM生成包含思维链的决策。
\begin{figure}[htbp]
    \centering
    \includegraphics[width=12cm]{AllPicture/响应生成的Prompt大纲.png}
    \caption{响应生成的Prompt大纲}
    \label{响应生成的Prompt大纲}
\end{figure}

实验采用GPT-3.5-turbo模型，设置$K=15$，经验池规模为10-40轮，通过ChatArena平台实现多智能体交互。
表\ref{tab:ablation}显示，移除任一模块均导致合理性输出下降超过20\%。
\begin{table}[ht]
    \centering
    \caption{消融实验：模块对输出合理性的影响}
    \label{tab:ablation}
    \begin{tabular}{lc}
        \hline
        移除模块 & 合理性下降（\%） \\
        \hline
        历史信息（$O$） & 62 \\
        反思生成（$R$） & 45 \\
        经验建议（$S$） & 28 \\
        完整框架 & - \\
        \hline
    \end{tabular}
\end{table}

如表\ref{tab:win_rate}所示，使用20轮经验池时，村民阵营胜率从基准的48\%提升至60\%，
游戏平均持续时间延长1.7天。图\ref{w/o经验中学习的效果对比}对比有无经验时的信任关系网络，显示经验
辅助下双向信任关系增加37\%。涌现的战略行为包括：
\begin{table}[ht]
    \centering
    \caption{村民阵营胜率与游戏时长对比}
    \label{tab:win_rate}
    \begin{tabular}{lcc}
        \hline
        经验池规模 & 胜率（\%） & 平均时长（天） \\
        \hline
        0轮（基准） & 48 & 3.2 \\
        10轮 & 55 & 4.1 \\
        20轮 & 60 & 4.9 \\
        40轮 & 58 & 4.3 \\
        \hline
    \end{tabular}
\end{table}
\begin{figure}[htbp]
    \centering
    \includegraphics[width=12cm]{AllPicture/从经验中学习的效果对比（所有图表中的虚线表示没有使用经验的值）.png}
    \caption{w/o经验中学习的效果对比}
    \label{w/o经验中学习的效果对比}
\end{figure}

1）\textbf{伪装}：狼人伪装村民混淆
视听（如“作为村民，我暂无信息可分享”）；

2）\textbf{领导力}：狼人引导投票淘汰关键角色；

3）\textbf{对抗}：守卫通过保护目标反制狼人攻击。实验同时揭示，LLM幻觉（如错误声明角色能力）
会导致约15\%的决策异常，但多数伪装行为为理性策略而非幻觉。

Jonathan Light等\cite{lightStrategistLearningStrategic2024}提出了\textbf{Strategist}方法，
通过双层树搜索（Bi-Level Tree Search）引导大型语言模型（LLMs）在多智能体对抗游戏中自主学习
战略技能。该方法结合高层策略进化树和低层自博弈模拟，利用蒙特卡洛树搜索（MCTS）生成反馈，并通过
模块化改进队列优化策略搜索效率。实验表明，在GOPS（纯策略游戏）和Avalon中，Strategist在胜率和
策略质量上显著优于传统强化学习（RL）和现有LLM自优化方法。

如图\ref{STRATEGIST概览}所示，Strategist通过双层结构实现策略优化：
\begin{figure}[htbp]
    \centering
    \includegraphics[width=12cm]{AllPicture/STRATEGIST概览.png}
    \caption{STRATEGIST概览}
    \label{STRATEGIST概览}
\end{figure}

1）\textit{高层策略树}以进化方式生成策略（如状态价值函数和对话指南），利用UCB算法选择改进方向；

2）\textit{低层自博弈}通过MCTS模拟轨迹，对比策略预测值与实际结果生成反馈。

关键创新在于模块化改进队列的设计，将策略改进分解为可复用的"改进思路"（如"增加对高价值卡牌的动态惩罚项"），
避免整体策略的盲目修改。该方法通过Python函数参数化策略空间，结合LLM的世界知识生成初始合理策略，显
著降低了搜索成本;如表\ref{tab:comparison}所示，在6-card GOPS的对抗测试中，Strategist的平均得分
（1.5±0.99）显著优于贪婪搜索（-0.54±0.45）和BFS方法（0.09±0.67）。在Avalon对话任务中，Merlin角色
的胜率（88\%）达到基线方法的2.4倍。结果显示，在相同计算预算下，Strategist的令牌效率
比次优方法高37\%。与深度RL相比（图\ref{不同训练方法在Avalon和GOPS中相对于基线的性能}），
Strategist在320回合训练后即达到0.66胜率，而RL仅获得0.31。
\begin{table}[ht]
    \centering
    \caption{不同自优化方法在GOPS和Avalon中的表现对比}
    \label{tab:comparison}
    \begin{tabular}{l|ccccc}
        方法 & GOPS价值函数 & Avalon价值函数 & Merlin对话 & 刺客对话 \\
        \hline
        Line Search & -0.47 & 0.54 & 0.37 & 1.83 \\
        Greedy & -0.54 & 0.47 & 0.62 & 1.81 \\
        BFS & 0.09 & 0.50 & 0.49 & 1.82 \\
        \textbf{Strategist} & \textbf{1.5} & \textbf{0.59} & \textbf{0.88} & \textbf{1.98} \\
    \end{tabular}
\end{table}
\begin{figure}[htbp]
    \centering
    \includegraphics[width=12cm]{AllPicture/不同训练方法在Avalon和GOPS中相对于基线的性能.png}
    \caption{不同训练方法在Avalon和GOPS中相对于基线的性能}
    \label{不同训练方法在Avalon和GOPS中相对于基线的性能}
\end{figure}

Liu等\cite{liuLanguagedrivenPolicyDistillation2024}提出\textbf{LDPD}
（Language-Driven Policy Distillation）框架，通过结合大型语言模型（LLMs）
和多智能体强化学习（MARL），实现自动驾驶车辆（CAVs）在复杂协同驾驶场景中的高效策略学习。
该方法构建教师-学生架构：基于LLM的教师智能体通过语义推理生成专家级决策示范，而学生智能体通过
策略蒸馏快速学习，并引入KL散度正则化平衡教师指导与自主探索。实验表明，LDPD在匝道合流场景中显著
提升策略学习效率，最终性能超越传统MARL方法，碰撞率降低42\%，平均速度提高15\%。

如图\ref{LDPD框架}所示，LDPD包含双模块架构：
\begin{figure}[htbp]
    \centering
    \includegraphics[width=12cm]{AllPicture/LDPD框架.png}
    \caption{LDPD框架}
    \label{LDPD框架}
\end{figure}

1）\textit{教师智能体}通过增强观察模块整合车道类型（主车道、相邻车道、冲突车道）和车辆意图，调
用LLM（GPT-4o）进行冲突检测与决策推理，并利用安全检查器验证轨迹安全性；

2）\textit{学生智能体}采用分布式Actor-Critic框架，通过KL正则项）逐步减少对教师策略的依赖。
关键创新在于设计优先级评分机制动态调整车辆决策顺序，确保复杂交通场景下的安全性与效率平衡。

每个CAV代理将在考虑来自LLM的推理和建议的情况下做出决策，并用LLM提取的知识更新策略。

实验结果：如图\ref{场景1中困难模式的指标对比}所示，在匝道合流场景（交通密度：困难模式）中，LDPD
（LEMAA2C）在20,000训练回合后平均奖励达78.3，较MAACKTR提升61\%。表\ref{tab:performance}显示，
LDPD在跨场景验证中碰撞率（0.07）显著低于基线方法（MAPPO:0.21），同时保持最高平均速度（24.87 km/h）
。此外，学生智能体在2,000次教师指导后即达到教师性能的93\%，验证了策略蒸馏的高效性。
\begin{table}[ht]
    \centering
    \caption{不同方法在匝道合流场景下的性能对比（困难模式）}
    \label{tab:performance}
    \begin{tabular}{l|ccc}
    方法 & 平均奖励 & 碰撞率 & 平均速度(km/h) \\
    \hline
    MAACKTR & 48.6 & 0.34 & 20.12 \\
    MAPPO & 62.1 & 0.21 & 22.45 \\
    \textbf{LDPD} & \textbf{78.3} & \textbf{0.07} & \textbf{24.87} \\
    \end{tabular}
\end{table}
\begin{figure}[htbp]
    \centering
    \includegraphics[width=12cm]{AllPicture/场景1中困难模式的指标对比.png}
    \caption{场景1中困难模式的指标对比}
    \label{场景1中困难模式的指标对比}
\end{figure}

Pang\cite{pangKALMKnowledgeableAgents2024}提出了KALM（Knowledgeable Agents from Language Model Rollouts），
一种通过离线强化学习从大型语言模型（LLM）生成的虚拟轨迹中训练知识型智能体的新方法。
传统强化学习受限于训练数据的覆盖范围，而KALM通过双向翻译机制将文本目标与数值化的环境轨迹对齐，
解决了LLM与数值环境数据的语义鸿沟问题。具体而言，KALM通过监督微调使LLM能够预测环境动态、
解释轨迹并生成目标导向的虚拟轨迹，随后利用离线强化学习从真实数据和LLM生成的虚拟轨迹中联合训练策略。
实验表明，在机器人操作任务（CLEVR-Robot和Meta-world）中，KALM在1400个未见目标上的成功率高达46\%，
显著优于基线方法的26\%。其核心贡献在于首次实现了LLM知识向低层控制任务的迁移，并通过架构改进提
了LLM对多模态环境数据的理解能力。
\begin{figure}[htbp]
    \centering
    \includegraphics[width=0.8\textwidth]{AllPicture/kalm_framework.png}
    \caption{KALM方法框架：(1) \textbf{LLM基础训练阶段}：通过监督微调使LLM理解环境状态与动作的数值表示；(2) \textbf{虚拟轨迹生成阶段}：基于目标导向提示生成未见任务的轨迹；(3) \textbf{离线强化学习阶段}：结合真实数据与虚拟轨迹训练策略。图中虚线表示可选的在线迭代优化流程。}
    \label{fig:framework}
\end{figure}

ALM包含三个核心模块（如图\ref{fig:framework}所示）：首先，通过修改LLM的输入输出层（加入可学习的MLP模
块），使其能够嵌入数值化的环境状态$s_t$和动作$a_t$；其次，利用监督学习任务（动态预测、轨迹解释、轨迹生
成）对LLM进行微调，建立文本目标与环境轨迹的映射关系；最后，采用离线强化学习算法（如CQL、TD3+BC）从
混合数据集中训练策略。特别地，虚拟轨迹生成通过目标导向提示（GOP）实现，例如“生成目标[GOAL]的轨迹”，
其中目标包含语义改写任务（如“将红球移到蓝球左侧”的不同表达）和全新组合任务（如“将所有球排列成直线”）。
该方法通过分离状态建模与动作生成，缓解了LLM同时处理多模态数据的负担。
\begin{figure}[htbp]
    \centering
    \includegraphics[width=0.7\textwidth]{AllPicture/不同方法在不同目标水平上的成功率.png}
    \caption{不同方法在CLEVR-Robot环境中的成功率对比。KALM（CQL+KALM）在语义改写任务（Rephrasing）、简单未见任务（Unseen-Easy）和复杂未见任务（Unseen-Hard）上分别达到83\%、42\%和28\%的轨迹匹配率，显著优于纯离线强化学习方法（如CQL的15.5\%）。}
    \label{fig:results}
\end{figure}

图\ref{fig:results}所示，在CLEVR-Robot环境中，KALM在各类任务上均表现出优越的泛化能力。对于需要组
合多步操作的复杂任务（如“聚集所有球”），LLM生成的虚拟轨迹虽存在物理合理性误差（约22\%异常状态），
但仍能有效指导策略学习。此外，消融实验表明，移除轨迹解释任务会导致未见任务性能下降39\%，验证了
时序一致性建模的重要性。与直接使用LLM作为策略的方法相比（成功率仅18\%），KALM通过分离轨迹生成与
策略优化，实现了更稳定的低层控制。在Meta-world环境中，KALM成功处理了包含障碍物的新任务（如“绕墙
按压按钮”），展示了其对复杂物理交互的推理能力。

Deng等\cite{dengSMACR1EmergenceIntelligence2025}提出SMAC-R1框架，通过集成代码导向的大型语言
模型（LLM）与强化学习技术，解决《星际争霸II》多智能体协作任务（SMAC）中探索效率低、策略不可解释
性及迁移性差的问题。SMAC-R1基于DeepSeek-Coder-v2.5-236B模型生成可解释的决策树代码，并通过监督
微调（SFT）和群组相对策略优化（GRPO）算法将能力蒸馏至Qwen2.5-7B模型。实验表明，该框架在23个标
准SMAC任务和10个新设计任务中，仅需数十轮环境交互即可生成高成功率（平均胜率95\%+）的代码策略，
且策略可跨同类任务直接迁移。与传统MARL方法（如QMIX需百万步训练）相比，SMAC-R1在代码生成轮次（<5轮）
和策略鲁棒性上显著提升，为复杂决策任务提供了白盒化解决方案。
\begin{figure}[htbp]
    \centering
    \includegraphics[width=0.85\textwidth]{AllPicture/LLM-SMAC框架的总体架构.png}
    \caption{SMAC-R1框架流程：(a) \textbf{策略规划}：Planner模块生成战术框架；(b) \textbf{代码生成}：Coder模块转化为Python代码；(c) \textbf{反馈优化}：Critic模块基于环境奖励优化策略；(d) \textbf{模型蒸馏}：通过SFT和GRPO训练轻量级模型。}
    \label{fig:framework}
\end{figure}

SMAC-R1包含三级架构（图\ref{fig:framework}）：首先，Planner模块解析地图与单位信息，结合历史策略
（蒙特卡洛树搜索结构）生成战术骨架（如"集火攻击"或"地形风筝"）；其次，Coder模块将战术转化为python
-sc2代码，通过环境仿真验证可行性；最后，Critic模块分析代码缺陷（API误用、逻辑冲突）和战斗结果（
胜率、伤害值），反馈优化建议。为提升效率，框架引入AST结构相似性检测进行代码去重，并通过GRPO算法
优化策略生成。
\begin{figure}[htbp]
    \centering
    \includegraphics[width=0.75\textwidth]{AllPicture/SMAC中10次验证的胜率、策略规划轮数、代码生成轮数、每个地图的规划结果.png}
    \caption{不同方法在SMAC任务中的表现对比。SMAC-R1在简单任务（3m）和复杂任务（MMM2）中的代码生成轮次分别降至1.4轮和3.6轮，胜率达100\%，显著优于DeepSeek-236B（需15-35轮）。}
    \label{fig:results}
\end{figure}

\begin{figure}[htbp]
    \centering
    \includegraphics[width=0.65\textwidth]{AllPicture/策略迁移的示例.png}
    \caption{策略迁移示例：(a) "3s\_vs\_4z"任务生成的三角阵型策略；(b) 同一策略在"3s\_vs\_5z"任务中的直接应用效果。红色箭头表示集火目标，蓝色虚线为风筝路径。}
    \label{fig:tactics}
\end{figure}

如图\ref{fig:results}所示，SMAC-R1在多数任务中实现零样本策略迁移。例如，针对"3s\_vs\_4z"任
务生成的三角阵型策略（图\ref{fig:tactics}），可直接应用于"3s\_vs\_5z"场景且胜率保持100\%。
GRPO优化后，模型在困难任务（如5m\_vs\_6m）的胜率从0\%提升至60\%。消融实验表明，移除Critic模块
会使代码异常率增加47\%，而策略长度与胜率呈负相关（$r=-0.82$），表明简洁战术更有效。与传统方
法对比，SMAC-R1在"8m\_vs\_9m"任务中训练步数减少99.7\%，且生成代码具备人类可解释性（如
精确的集火条件判断）。

多智能体强化学习（MARL）面临信用分配与部分可观测性两大核心挑战，Wei等\cite{weiLEROLLMdrivenEvolutionary2025}
提出LERO框架，结合大型语言模型（LLMs）与进化算法，通过动态混合奖励函数（HRFs）与增强观测函数
（OEFs）优化多智能体协作。HRFs融合全局与个体奖励信号，解决信用分配问题；OEFs利用历史观测推断
全局状态，缓解部分可观测性限制。进化算法通过迭代训练循环优化LLM生成的组件，形成闭环改进流程。
实验表明，LERO在Multi-Agent Particle Environment（MPE）中显著优于基线方法，如Simple Spread
任务中，MAPPO算法的覆盖率提升211\%（图\ref{fig:performance}），验证了框架的有效性。
\begin{figure}[htbp]
    \centering
    \includegraphics[width=0.8\textwidth]{AllPicture/LERO框架与基线的比较对比.png}
    \caption{LERO与基线方法的性能对比}
    \label{fig:performance}
\end{figure}
\begin{figure}[htbp]
    \centering
    \includegraphics[width=0.9\textwidth]{AllPicture/LERO框架.png}
    \caption{LERO框架的迭代优化流程}
    \label{fig:framework}
\end{figure}

LERO框架（图\ref{fig:framework}）包含LLM驱动的组件生成与进化优化两大模块。其核心流程为：
\begin{itemize}
    \item \textbf{混合奖励函数（HRFs）}：通过公式动态平衡个体与全局奖励：
    \begin{equation}
        R_i = \alpha_i R_{\text{local}} + (1-\alpha_i) R_{\text{global}}
        \label{eq:hybrid_reward}
    \end{equation}
    \item \textbf{增强观测函数（OEFs）}：将原始观测$o_i$转换为包含语义信息的$o_i' = \text{OE}(o_i, h_i)$
    \item \textbf{进化优化}：通过选择、交叉和变异操作迭代优化组件，利用Selector模块评估性能指标（如覆盖率、收敛速度），并反馈至LLM生成改进版本
\end{itemize}
该框架将LLM的语义推理能力与进化算法的全局搜索结合，实现任务自适应的多智能体策略优化。

在MPE的Simple Spread与Simple Reference任务中，LERO框架相比基线方法表现出显著优势
（图\ref{fig:performance}）：完整LERO版本在Simple Reference任务中使VDN算法的覆盖
率从23\%提升至83\%。如图\ref{fig:ablation}所示，单独使用HRFs或OEFs时，MAP
PO覆盖率分别提升33.3\%与22.1\%，而二者结合后提升至74.7\%经过4轮迭代优化，VDN覆盖率翻
倍（41\%→83\%），表明进化机制能有效提炼任务语义信息（图\ref{fig:ablation}右）。
\begin{figure}[htbp]
    \centering
    \includegraphics[width=0.9\textwidth]{AllPicture/仅混合奖励和仅观察增强变量的消融实验结果.png}
    \caption{消融实验}
    \label{fig:ablation}
\end{figure}

\bibliographystyle{gbt7714-numerical}
\bibliography{F:/BibTeXref/zoterorepo.bib}
\end{document}